Neuroscience-Inspired Artificial Intelligence | Neuron (2017)
Demis Hassabis, Dharshan Kumaran, Christopher Summerfield, Matthew Botvinick
https://doi.org/10.1016/j.neuron.2017.06.011
hl.icon
脳から学んでAIを開発し、AIから学んで脳を研究する
人のように思考するAIを作るならば、人をシステムとして捉え、その認知機能および実装を明らかにすることが近道となるはず
あるAIのアルゴリズムが脳でも使われているとすれば、そのアルゴリズムは人間の認知に似たようなパフォーマンスができるポテンシャルがあるといえる
Naa_tsure.iconTransformerやMambaみたいな言語の世界では圧倒的な性能を叩き出しているが、彼らは脳に学んでいるのか?
Naa_tsure.icon一応Cortical wavesとの対応が提唱されていたりする
Transformers and Cortical Waves: Encoders for Pulling In Context Across Time | arxiv (2024)
Naa_tsure.icon生物学的妥当性(Biological plausibility)にはこだわる必要はない。という主張はわかるけど、マーの3段階(Marr's Three Levels)の実装(Implementation level)のレベルに注目しないというのは自分の考えとはだいぶ違う。
Naa_tsure.icon計算論(Computational level) やアルゴリズム(Algorithmic level)が脳からAIへ導入しやすいのはそうなんだけど、最近のFlyWireを使った研究を見ているとある機能がどのように実装されているのかを実装( Implementation level)からボトムアップ(Bottom-Up)に調べる方法がいかに強力かがわかる
Naa_tsure.icon例えば、Hue selectivity from recurrent circuitry in Drosophila | nature neuroscience (2024)
Naa_tsure.icon計算論のレベルからトップダウン(Top-Down)に研究するのももちろん強力だが、これでは結局既に知られている物の中から大きく離れることができない
Naa_tsure.iconこれに神経実装のレベルからボトムアップ(Bottom-Up)に研究する方向性も合わせることで新規のアルゴリズムや計算論の構築に役立つのではないか?
Naa_tsure.icon普通に効率の良さがまあよく言われる気がする
脳から学んだと言えば、
畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)
強化学習(Reinforcement Learning; RL)
注意(Attention)
動物は視野全体を同じように扱ってはいない
特定の領域に注目して処理してる
これの注意機構を記憶に対して行うと
Neural Machine Translation by Jointly Learning to Align and Translateに派生
脳とAI